Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, обнародовала результаты исследования, говорящие о высокой эффективности технологии гибридного жидкостного охлаждения для серверного оборудования.

Система, о которой идёт речь, предусматривает совмещение двух типов СЖО. В частности, на CPU и GPU монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещается в резервуар с диэлектрической жидкостью.

Источник изображения: OVHcloud

Исследование показало, что такой комбинированный подход даёт возможность снизить энергопотребление дата-центра приблизительно на 20 % по сравнению с использованием исключительного водяного охлаждения. В оценке возможностей гибридной СЖО приняли участие специалисты Реймсского университета Шампань — Арденны (Франция).

Группа протестировала различные охлаждающие жидкости и пришла к выводу, что составы с низкой вязкостью обеспечивают более эффективный отвод тепла при использовании в резервуарах иммерсионных систем. В частности, при повышении вязкости примерно в два раза — с 4,6 до 9,8 мПа·с — эффективность охлаждения снизилась на 6 %.

Установлено также, что гибридная СЖО позволяет сократить энергопотребление в расчёте на сервер на 7 % в год по сравнению с обычными жидкостными системами и на 20 % по сравнению с воздушным охлаждением. При этом затрачивается от 50 до 100 мл воды в час на каждый Ватт мощности сервера.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания Castrol, производитель моторных масел и смазочных материалов, по сообщению The Register, объединила усилия с Государственным научно-исследовательским институтом Швеции (RISE) для разработки диэлектрических жидкостей нового поколения. Предполагается, что жидкости нового типа будут применяться в системах иммерсионного (погружного) охлаждения для дата-центров.

Castrol, принадлежащая группе BP, активно развивает соответствующее направление. Так, ранее компания объединила усилия с фирмой Submer для создания иммерсионных СЖО, а позднее сообщила о формировании специализированной площадки для разработки и тестирования подобных решений. Shell, ещё одна нефтегазовая компания, уже сотрудничает с другим производителем погружных СЖО, компанией Asperitas.

Источник изображения: Submer

Партнёрство с RISE, как ожидается, позволит ускорить разработку новых диэлектрических жидкостей. Castrol планирует привлечь к исследованиям шведских специалистов в области материаловедения. Кроме того, компания получит доступ к передовому оборудованию и испытательным стендам, которыми располагает RISE. Стороны также намерены сообща развивать решения для «задач, связанных с разработкой вычислительных систем следующего поколения».

«Погружное охлаждение — это быстро развивающаяся область, интерес к которой вызван глобальной потребностью в оптимизации эффективности и энергопотребления самых мощных в мире дата-центров», — отметила вице-президент BP по передовым смазочным материалам Ребекка Йейтс (Rebecca Yates).

Отметим, что осенью 2022 года инновационную жидкость для иммерсионных СЖО представила американская продовольственная компания Cargill: NatureCool 2000 на 90 % состоит из растительных масел. Кроме того, новинка является биоразлагаемой.

Компания CryptoBlox Technologies, которая является одним из участников «зелёных» инициатив в области майнинга,приобретает CryptoTherm, специализирующуюся на жидкостных системах охлаждения. Как сообщает DataCenter Dynamics, это должно укрепить позиции компании на рынке добычи криптовалют — CryptoTherm разрабатывает контейнерные ЦОД с погружным охлаждением. Ранее аналогичный шаг сделала Crusoe, поглотившая собственного подрядчика по производству модульных ЦОД Easter-Owens.

Сделка предусматривает выпуск 400 млн акций CryptoTherm общей стоимостью $20 млн, которые полностью перейдут покупателю. Технологии CryptoTherm придутся весьма кстати для CryptoBlox, поскольку компания расширяет подразделение, занимающееся блокчейн-проектами. Дополнительно она намерена развивать и купленный бизнес. Для этого будут выделены ресурсы для расширения парка решений CryptoTherm, связанных с погружным охлаждением, ASIC-майнерами, теплоносителями и т.д.

Источник: CryptoTherm

По данным DataCenter Dynamics, компания занимается реализацией проекта на одном из нефтеносных полей в Альберте (Канада). Проект будет получать энергию за счёт использования попутного природного газа, обычно попросту сжигаемого в факелах при добыче нефти. Планируемая мощность ЦОД составит 3,5–5 МВт, со временем планируется увеличить её до 10 МВт. Подобные проекты получают всё большее распространение. Например, летом появилась информация о том, что ОАЭ и Оман намерены закупить малые ЦОД, работающие на попутном природном газе.

Разработчик СЖО GRC (Green Revolution Cooling) сообщил о том, что компания Shell Lubricants (Shell) присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем иммерсионного (погружного) охлаждения. Инициатива GRC предусматривает возможность использования диэлектрических жидкостей разного типа для СЖО в дата-центрах. Такие жидкости должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности. При этом отстуствие унификации и потверждения совместимости усложняет массовое внедрение таких решений в ЦОД.

Источник изображения: GRC

Отмечается, что сейчас системы иммерсионного охлаждения занимают небольшую нишу в сегменте ЦОД, но становятся всё более распространёнными в связи с развитием новых платформ, которым требуются большие вычислительные ресурсы. Ассортимент GRC ElectroSafe включает в себя широкий спектр высокоэффективных и безопасных для окружающей среды синтетических охлаждающих жидкостей, прошедших тщательные испытания. При этом партнёрская программа предоставляет платформу для совместной работы по повышению эффективности однофазных охлаждающих жидкостей.

Жидкости Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Исследования показали, что они предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов и более высокие диэлектрические показатели по сравнению с другими коммерчески доступными жидкостями. Кроме того, говорится о высокой точке кипения.

«Shell рада стать участником партнёрской программы GRC ElectroSafe. Поскольку однофазное иммерсионное охлаждение предлагает преимущества в плане производительности и стоимости, мы считаем, что сочетание передовых систем охлаждения GRC с разработками Shell обеспечит отличное решение для ЦОД по всему миру», — заявляет компания.

Исследование, проведённое компанией Omdia, говорит о том, что на мировом рынке систем жидкостного охлаждения (СЖО) в ближайшие годы будет наблюдаться стремительный рост. Этому должны способствовать операторы дата-центров и крупных облачных платформ.

Аналитики говорят, что мощное оборудование в современных ЦОД становится всё сложнее охлаждать исключительно при помощи воздуха. Поэтому провайдеры внедряют СЖО, а также присматриваются к технологиям иммерсионного (погружного) охлаждения. Так, согласно прогнозам Omdia, к 2026 году глобальные затраты на СЖО могут достичь $3 млрд (без учёта майнинговых ферм). Если эти ожидания оправдаются, показатель CAGR (среднегодовой темп роста в сложных процентах) составит 50,4 %.

Источник изображения: Robert Anderson/unsplash.com

Среди ключевых преимуществ внедрения СЖО в дата-центрах аналитики называют повышение энергоэффективности, снижение уровня шума, устранение необходимости в сложном управлении воздушными потоками, тщательный контроль температуры, возможность повторного использование тепла и достижение целей устойчивого развития. В то же время необходимо учитывать ряд факторов, включая местоположение ЦОД, климатические условия, удельную мощность, рабочие нагрузки, эффективность и доступность физического пространства.

В целом, полагают эксперты, комбинация систем на основе воздушного и жидкостного охлаждения, вероятно, станет обычным явлением в дата-центрах в ближайшем будущем. Большинство поставщиков облачных услуг уже внедряют СЖО в той или иной форме — от тестирования концепции до фактического развёртывания.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

Источник изображения: Meta/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

Компании One Stop Systems (OSS) и TMGcore в ходе конференции SC22 продемонстрировали первый в мире суперкомпьютер с двухфазным иммерсионным (погружным) охлаждением. Новая версия системы OSS Rigel Edge Supercomputer предназначена для поддержания периферийных приложений и ИИ-нагрузок.

Технология иммерсионного охлаждения TMGcore предусматривает применение непроводящих, химически инертных, неагрессивных жидкостей. В них погружаются модули Rigel, что позволяет эффективно отводить тепло. А это даёт возможность создавать компактные системы с высокой производительностью.

«Являясь первым в мире суперкомпьютером с двухфазным иммерсионным охлаждением для мобильных ИИ-нагрузок, созданный комплекс обеспечивает новый уровень операционной эффективности, компактности, надёжности и производительности», — заявляют разработчики.

Источник изображения: TMGcore

Rigel используется в составе автономной системы охлаждения TMGcore EdgeBox 4.5. Утверждается, что по термоэффективности она в 400 раз превосходит традиционные воздушные системы. Кроме того, новое решение благодаря применению жидкости обеспечивает улучшенную защиту компонентов от физических воздействий. Компании уже работают над более компактной версией EdgeBox, которая сможет монтироваться на наземном, водном и воздушном транспорте.

Источник изображения: OSS

Узлы Rigel оборудованы 24-ядерными процессорами AMD EPYC, четырьмя ускорителями NVIDIA HGX A100, четырьмя 200G-адаптерами NVIDIA ConnectX-6 InfiniBand, NVMe-хранилищем вместимостью 64 Тбайт, а также восемью слотами для модулей оперативной памяти ECC DDR4 RDIMM/LRDIMM (до 128 Гбайт каждый) или RDIMM/LRDIMM-3DS (до 256 Гбайт каждый). Для питания используются сдвоенные БП мощностью 1600/2000 Вт. Диапазон рабочих температур — от 0 до 35 °C.

Компания Gigabyte анонсировала две иммерсионные (погружные) системы жидкостного охлаждения (СЖО) — однофазные решения 25U EIA Tank и 18OU OCP Tank. Новинки предназначены для крупных центров обработки данных, HPC-платформ и облачных площадок.

Модель 25U EIA Tank рассчитана на одну стойку формата 21U и четыре блока 1U (EIA). Версия 18OU OCP Tank, в свою очередь, поддерживает одну стойку 18OU (OCP), 2OU-блок для подсистемы питания и два блока 1U (EIA). СЖО подходят в том числе для таких серверов Gigabyte, как G292-Z45, G292-Z43, G292-280, H262-Z6B и S251-3O0.

Источник изображений: Gigabyte

Прочие характеристики новинок идентичны. Конструкция включает блок распределения теплоносителя (CDU) с габаритами 0,90 × 0,55 × 1,62 м и весом 300 кг. Предусмотрен резервный модуль CDU, который сможет поддерживать работу системы в случае отказа основного. Энергопотребление CDU составляет 0,75 кВт. Резервуар с размерами 0,91 × 1,28 × 1,49 м весит 450 кг (около 1100 кг с теплоносителем, объём которого может достигать 800 л).

Системы оснащены набором сенсоров для контроля температуры жидкости в различных зонах и поддержания значения не более 35 °C. Для питания используются коннекторы CE-типа (3P+N+E 63A IEC 60309; AC 380–400 В, 63 А, 50/60 Гц). Производительность составляет 240 л/мин. Система способна отводить до 80 кВт тепла, показатель PUE — 1,02. Глубина охлаждаемого сервера не должна превышать 900 мм.

Для размещения новых иммерсионных СЖО требуется площадь 2,0 × 0,9 м. Покупателям серверов для этих систем Gigabyte предоставит один год международного сервисного обслуживания и возможность увеличить гарантийный срок.